"""
一、爬虫：自动化 请求 解析 保存网页数据
二、爬取流程
    1. 获取目标URL
    2. 构造请求
    3. 获取响应
    4. 解析提取数据
    5. 保存数据
    6. 提取深层连接
    7. 循环请求
三、Python优势
    1. 有大量的方便的数据请求，解析，保存库
    2. 与后续工作在无缝衔接比如数据处理与分析
    3. 异步高性能
四、Robots.txt
    1.一个位于根目录的说明文件，可有可无，解释哪些UA 可以访问或者禁止访问哪些网址
    2.尽量遵守
五、HTTP请求与响应头
    1. 请求头
        a. User-Agent: 请求工具的标识 类型与版本
        b. Referer： 访问来源
        c. Cookie：最主要的就是用户信息 比如sessionid phpid csrftoken
        d. Content-Type：请求类型 form json
        e. Authorization：用户令牌
    2. 响应头
        Content-Type：响应类型 json text JavaScript
三、请求库
    1. urllib
    2. requests

"""